保存隐私的神经网络（NN）推理解决方案最近在几种提供不同的延迟带宽权衡的解决方案方面获得了重大吸引力。其中，许多人依靠同态加密（HE），这是一种对加密数据进行计算的方法。但是，与他们的明文对应物相比，他的操作即使是最先进的计划仍然很慢。修剪NN模型的参数是改善推理潜伏期的众所周知的方法。但是，在明文上下文中有用的修剪方法可能对HE案的改善几乎可以忽略不计，这在最近的工作中也证明了这一点。在这项工作中，我们提出了一套新颖的修剪方法，以减少潜伏期和记忆要求，从而将明文修剪方法的有效性带到HE中。至关重要的是，我们的建议采用两种关键技术，即。堆积模型权重的置换和扩展，使修剪能够明显更多的密封性下文并分别恢复大部分精度损失。我们证明了我们的方法在完全连接的层上的优势，其中使用最近提出的称为瓷砖张量的包装技术填充了权重，该技术允许在非相互作用模式下执行Deep NN推断。我们在各种自动编码器架构上评估了我们的方法，并证明，对于MNIST上的小均值重建损失为1.5*10^{ - 5}，我们将HE-SEAMABLE推断的内存要求和延迟减少了60％。
translated by 谷歌翻译
突触记忆巩固已被认为是支持神经形态人工智能（AI）系统中持续学习的关键机制之一。在这里，我们报告说，Fowler-Nordheim（FN）量子隧道设备可以实现突触存储器巩固，类似于通过算法合并模型（例如级联和弹性重量合并（EWC）模型）所能实现的。拟议的FN-Synapse不仅存储突触重量，而且还存储了Synapse在设备本身上的历史用法统计量。我们还表明，就突触寿命而言，FN合并的操作几乎是最佳的，并且我们证明了一个包含FN合成的网络在一个小基准测试持续学习任务上超过了可比的EWC网络。通过每次突触更新的Femtojoules的能量足迹，我们相信所提出的FN-Synapse为实施突触记忆巩固和持续学习提供了一种超能效率的方法。
translated by 谷歌翻译
Non-convex AC optimal power flow (AC-OPF) is a fundamental optimization problem in power system analysis. The computational complexity of conventional solvers is typically high and not suitable for large-scale networks in real-time operation. Hence, deep learning based approaches have gained intensive attention to conduct the time-consuming training process offline. Supervised learning methods may yield a feasible AC-OPF solution with a small optimality gap. However, they often need conventional solvers to generate the training dataset. This paper proposes an end-to-end unsupervised learning based framework for AC-OPF. We develop a deep neural network to output a partial set of decision variables while the remaining variables are recovered by solving AC power flow equations. The fast decoupled power flow solver is adopted to further reduce the computational time. In addition, we propose using a modified augmented Lagrangian function as the training loss. The multipliers are adjusted dynamically based on the degree of constraint violation. Extensive numerical test results corroborate the advantages of our proposed approach over some existing methods.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
Increasing number of COVID-19 research literatures cause new challenges in effective literature screening and COVID-19 domain knowledge aware Information Retrieval. To tackle the challenges, we demonstrate two tasks along withsolutions, COVID-19 literature retrieval, and question answering. COVID-19 literature retrieval task screens matching COVID-19 literature documents for textual user query, and COVID-19 question answering task predicts proper text fragments from text corpus as the answer of specific COVID-19 related questions. Based on transformer neural network, we provided solutions to implement the tasks on CORD-19 dataset, we display some examples to show the effectiveness of our proposed solutions.
translated by 谷歌翻译
太阳水箱是在太阳的Ca II K摄影观测中观察到的明亮的色球环特征。这些是高磁场浓度的区域，因此是太阳的磁性活性的示踪剂，并且是研究太阳长期可变性的最重要特征之一，因为记录了一个多世纪以来的Ca II K镜头。。但是，从一个世纪的数据库中检测到份额是一项非平凡的任务，需要大量的人力资源来手动进行。因此，在这项研究中，我们提出了一种图像处理算法，该算法可以从CA II K摄影观测中识别出太阳份量。拟议的研究已在Kodaikanal太阳能天文台的档案数据上实施。为了确保算法有效，无论噪声水平，亮度和其他图像属性如何，我们从数据存档中随机绘制图像样本以测试我们的算法。
translated by 谷歌翻译
仇恨语音检测的最先进方法通常在室外设置中表现出较差的性能。通常，这是由于分类器过度强调特定于源的信息，从而对其域的不变性产生负面影响。先前的工作试图使用功能归因方法从手动策划的列表中惩罚与仇恨语音有关的条款，该方法量化了分类器在做出预测时分配给输入术语的重要性。取而代之的是，我们提出了一种域适应方法，该方法会使用域分类器自动提取和惩罚特定于源的术语，该域分类器学会区分域和仇恨语音类别的功能 - 属性分数，从而在交叉域评估中始终如一地改进。
translated by 谷歌翻译
太阳能动力学天文台（SDO）是NASA多光谱十年的长达任务，每天都在日常产生来自Sun的观测数据的trabytes，以证明机器学习方法的潜力并铺路未来深空任务计划的方式。特别是，在最近的几项研究中提出了使用图像到图像翻译实际上产生极端超紫罗兰通道的想法，这是一种增强任务较少通道的提高任务的方法，并且由于低下链接而减轻了挑战。深空的速率。本文通过关注四个通道和基于编码器的建筑的排列来研究这种深度学习方法的潜力和局限性，并特别注意太阳表面的形态特征和亮度如何影响神经网络预测。在这项工作中，我们想回答以下问题：可以将通过图像到图像翻译产生的太阳电晕的合成图像用于太阳的科学研究吗？分析强调，神经网络在计数率（像素强度）上产生高质量的图像，通常可以在1％误差范围内跨通道跨通道重现协方差。但是，模型性能在极高的能量事件（如耀斑）的对应关系中大大减少，我们认为原因与此类事件的稀有性有关，这对模型训练构成了挑战。
translated by 谷歌翻译
扩散模型是图像产生和似然估计的最新方法。在这项工作中，我们将连续的时间扩散模型推广到任意的Riemannian流形，并得出了可能性估计的变异框架。在计算上，我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外，在概括欧几里得案例时，我们证明，最大化该变异的下限等效于Riemannian得分匹配。从经验上讲，我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力，例如球体，Tori，双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。
translated by 谷歌翻译
无源域的适应性（SFDA）旨在通过仅使用预训练的源模型将分类器调整为未标记的目标数据集。但是，缺乏源数据和域移动使目标数据对目标数据的预测不可靠。我们建议量化源模型预测中的不确定性，并利用它来指导目标适应。为此，我们通过在网络参数上合并先验，构建一个概率源模型，从而在模型预测上诱导分布。通过采用拉普拉斯近似值来估算不确定性，并合并以识别不在源歧管中的目标数据点并在最大化目标数据上的共同信息时减少重量。与最近的作品不同，我们的概率处理是计算轻量级，脱离源训练和目标适应，并且不需要专门的源培训或模型体系结构的更改。我们显示了不确定性引导的SFDA比封闭设置和开放式设置中的传统SFDA的优势，并提供了经验证据，即即使没有调整，我们的方法对于强大的域转移也更为强大。
translated by 谷歌翻译